Come ho detto nello scrivere di Torre Orsaia i vescovi bussentini, per sfuggire al succedersi delle scorrerie saracene su Policastro, si rifugiarono nell’interno a Torre inferiore (Torre Orsaia).
Afferma il Laudisio che re Ruggero, nel ricostruire Policastro, poi concessa al figlio naturale Simone, donò ai vescovi bussentini anche il castello che da lui aveva preso nome, Castel Ruggero. Con l'affermarsi della signoria nel luogo dei vescovi di Policastro, anche questo villaggio finì per essere riconosciuto loro come franco allodio (sec. XIII).

Durante la guerra angioino-aragonese venne creata e potenziata una seconda linea di difesa, più interna, Roccagloriosa - Torre Orsaia - Castel Ruggiero.

Nella vertenza tra il conte Carrafa di Policastro e i vescovi locali, il feudatario chiarì che Torre superiore (odierno Castel Ruggero), distante un miglio da Torre inferiore (Torre Orsaia) era stato fondato e fortificato da Antonello de Petruciis, primo ministro di re Ferrante, da cui aveva preso il nome di “la Petruccia”. La contesa fu poi definita da una sentenza che stabilì che i conti di Policastro possedevano solo il diritto della giurisdizione criminale di Torre Orsaia e Castel Ruggero.

Dalle notizie pervenuteci sulla spedizione di Dragut (ammiraglio e corsaro ottomano) si rileva che Castel Ruggero venne assalito con i villaggi vicini il 14 luglio 1552 dal pascià che aveva bloccato con le sue 123 navi il porto di Policastro. Le sue orde arrivarono fino a Torre Orsaia e Castel Ruggero devastando i campi e uccidendo gli abitanti (400) o traendoli in schiavitù. Il Laudisio assicura che anche «castrum» (Castel Ruggero) venne invaso nel 1553 dagli sgherri di Ariadeno Barbarossa.

Secondo il Pasanisi, i vescovi finirono per diventare i signori del luogo. Egli scrive che il censo della «pregata», di cui è cenno negli statuti, venne pagato dalle locali famiglie ai vescovi fino all'abolizione della feudalità.

Dal Cedolario si apprende che l'ultimo intestatario (26 febbraio 1789) del feudo fu il vescovo di Policastro. Va osservato, però, che sia l'Alfano che il Giustiniani, nel dire di Torre Orsaia, la cui popolazione nei censimenti è sempre unita a quella di Torre superiore (Castel Ruggero), scrivono ambedue che i villaggi erano stati feudi della Mensa vescovile di Policastro, ma che ai loro tempi erano terre regie (demaniali).

Il Tancredi ricorda la costruzione della torre superiore per ordine di re Ruggero, torre di cui si potevano vedere i resti, a suo dire, ancora anni fa, nella località nota come «campus Rogerii» e poi come Torre superiore.